Dataset Distillation (DD), a newly emerging field, aims at generating much smaller and high-quality synthetic datasets from large ones. Existing DD methods based on gradient matching achieve leading performance; however, they are extremely computationally intensive as they require continuously optimizing a dataset among thousands of randomly initialized models. In this paper, we assume that training the synthetic data with diverse models leads to better generalization performance. Thus we propose two \textbf{model augmentation} techniques, ~\ie using \textbf{early-stage models} and \textbf{weight perturbation} to learn an informative synthetic set with significantly reduced training cost. Extensive experiments demonstrate that our method achieves up to 20$\times$ speedup and comparable performance on par with state-of-the-art baseline methods.

Deep neural networks (DNNs) recently emerged as a promising tool for analyzing and solving complex differential equations arising in science and engineering applications. Alternative to traditional numerical schemes, learning-based solvers utilize the representation power of DNNs to approximate the input-output relations in an automated manner. However, the lack of physics-in-the-loop often makes it difficult to construct a neural network solver that simultaneously achieves high accuracy, low computational burden, and interpretability. In this work, focusing on a class of evolutionary PDEs characterized by having decomposable operators, we show that the classical ``operator splitting'' numerical scheme of solving these equations can be exploited to design neural network architectures. This gives rise to a learning-based PDE solver, which we name Deep Operator-Splitting Network (DOSnet). Such non-black-box network design is constructed from the physical rules and operators governing the underlying dynamics contains learnable parameters, and is thus more flexible than the standard operator splitting scheme. Once trained, it enables the fast solution of the same type of PDEs. To validate the special structure inside DOSnet, we take the linear PDEs as the benchmark and give the mathematical explanation for the weight behavior. Furthermore, to demonstrate the advantages of our new AI-enhanced PDE solver, we train and validate it on several types of operator-decomposable differential equations. We also apply DOSnet to nonlinear Schr\"odinger equations (NLSE) which have important applications in the signal processing for modern optical fiber transmission systems, and experimental results show that our model has better accuracy and lower computational complexity than numerical schemes and the baseline DNNs.

Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.

大肠息肉分类是一项关键的临床检查。为了提高分类精度，大多数计算机辅助诊断算法通过采用窄带成像（NBI）识别结直肠息肉。但是，NBI通常在实际诊所场景中缺少利用率，因为该特定图像的获取需要在使用白光（WL）图像检测到息肉时手动切换光模式。为了避免上述情况，我们提出了一种新的方法，可以通过进行结构化的跨模式表示一致性直接实现准确的白光结肠镜图像分类。实际上，一对多模式图像，即NBI和WL，被送入共享变压器中以提取分层特征表示。然后，采用了一种新颖的设计空间注意模块（SAM）来计算从多层次的类令牌和贴片令牌％的相似性，以获得特定模态图像。通过将配对NBI和WL图像的类令牌和空间注意图对齐，变压器可以使上述两种模式保持全局和局部表示一致性。广泛的实验结果说明了所提出的方法的表现优于最近的研究，从而通过单个变压器实现了多模式预测，同时仅在使用WL图像时大大提高了分类精度。

集成多模式数据以改善医学图像分析，最近受到了极大的关注。但是，由于模态差异，如何使用单个模型来处理来自多种模式的数据仍然是一个开放的问题。在本文中，我们提出了一种新的方案，以实现未配对多模式医学图像的更好的像素级分割。与以前采用模式特异性和模态共享模块的以前方法不同，以适应不同方式的外观差异，同时提取共同的语义信息，我们的方法基于具有精心设计的外部注意模块（EAM）的单个变压器来学习在训练阶段，结构化的语义一致性（即语义类表示及其相关性）。在实践中，可以通过分别在模态级别和图像级别实施一致性正则化来逐步实现上述结构化语义一致性。采用了提出的EAM来学习不同尺度表示的语义一致性，并且一旦模型进行了优化，就可以丢弃。因此，在测试阶段，我们只需要为所有模态预测维护一个变压器，这可以很好地平衡模型的易用性和简单性。为了证明所提出的方法的有效性，我们对两个医学图像分割方案进行了实验：（1）心脏结构分割，（2）腹部多器官分割。广泛的结果表明，所提出的方法的表现优于最新方法，甚至通过极有限的训练样本（例如1或3个注释的CT或MRI图像）以一种特定的方式来实现竞争性能。

尽管近年来从CT/MRI扫描中自动腹部多器官分割取得了很大进展，但由于缺乏各种临床方案的大规模基准，对模型的能力的全面评估受到阻碍。收集和标记3D医学数据的高成本的限制，迄今为止的大多数深度学习模型都由具有有限数量的感兴趣或样品器官的数据集驱动，这仍然限制了现代深层模型的力量提供各种方法的全面且公平的估计。为了减轻局限性，我们提出了AMO，这是一个大规模，多样的临床数据集，用于腹部器官分割。 AMOS提供了从多中心，多供应商，多模式，多相，多疾病患者收集的500 CT和100次MRI扫描，每个患者均具有15个腹部器官的体素级注释，提供了具有挑战性的例子，并提供了挑战性的例子和测试结果。在不同的目标和场景下研究健壮的分割算法。我们进一步基准了几种最先进的医疗细分模型，以评估此新挑战性数据集中现有方法的状态。我们已公开提供数据集，基准服务器和基线，并希望激发未来的研究。信息可以在https://amos22.grand-challenge.org上找到。

尽管现有的单眼深度估计方法取得了长足的进步，但由于网络的建模能力有限和规模歧义问题，预测单个图像的准确绝对深度图仍然具有挑战性。在本文中，我们介绍了一个完全视觉上的基于注意力的深度（Vadepth）网络，在该网络中，将空间注意力和通道注意都应用于所有阶段。通过在远距离沿空间和通道维度沿空间和通道维度的特征的依赖关系连续提取，Vadepth网络可以有效地保留重要的细节并抑制干扰特征，以更好地感知场景结构，以获得更准确的深度估计。此外，我们利用几何先验来形成规模约束，以进行比例感知模型培训。具体而言，我们使用摄像机和由地面点拟合的平面之间的距离构建了一种新颖的规模感知损失，该平面与图像底部中间的矩形区域的像素相对应。 Kitti数据集的实验结果表明，该体系结构达到了最新性能，我们的方法可以直接输出绝对深度而无需后处理。此外，我们在Seasondepth数据集上的实验还证明了我们模型对多个看不见的环境的鲁棒性。

近年来，神经网络在各个领域中表现出强大的力量，它也带来了越来越多的安全威胁。基于神经网络模型的STEGOMALWARE是代表性的。以前的研究初步证明通过突出神经网络模型中的恶意软件来启动恶意攻击的可行性。然而，现有的作品没有表明，由于恶意软件嵌入率低，模型性能降低以及额外的努力，这种新兴威胁在现实世界攻击中是实际的攻击。因此，我们预测一个称为evilmodel的改进的斯佩塔科。在分析神经网络模型的结构的基础上，我们将二进制形成恶意软件作为其参数嵌入神经网络模型，并提出了三种新的恶意软件嵌入技术，即MSB保留，快速替换和半替换。通过结婚19个恶意软件样本和10个流行的神经网络模型，我们构建了550个恶意软件嵌入式模型，并在想象中数据集中分析了这些模型的性能。实验结果表明，半取代几乎完美地表现出，恶意软件嵌入率为48.52％，没有模型性能下降或额外的努力。考虑到一系列因素，我们提出了一种定量算法来评估不同的嵌入方法。评估结果表明，邪恶的模型与经典的斯托图尼特有多高。此外，我们开展案例研究，以触发真实世界的情景中的邪恶模型。要深入了解所提出的恶意软件嵌入技术，我们还研究了神经网络结构，层和参数大小对恶意软件嵌入容量和嵌入式模型精度的影响。我们还提供了一些可能的对策来捍卫邪恶的模型。我们希望这项工作能够全面了解这种新的AI动力威胁，并建议提前辩护。

我们提出了一个新的框架，在增强的自然语言（TANL）之间的翻译，解决了许多结构化预测语言任务，包括联合实体和关系提取，嵌套命名实体识别，关系分类，语义角色标记，事件提取，COREREFED分辨率和对话状态追踪。通过培训特定于特定于任务的鉴别分类器来说，我们将其作为一种在增强的自然语言之间的翻译任务，而不是通过培训问题，而不是解决问题，而是可以轻松提取任务相关信息。我们的方法可以匹配或优于所有任务的特定于任务特定模型，特别是在联合实体和关系提取（Conll04，Ade，NYT和ACE2005数据集）上实现了新的最先进的结果，与关系分类（偶尔和默示）和语义角色标签（Conll-2005和Conll-2012）。我们在使用相同的架构和超参数的同时为所有任务使用相同的架构和超级参数，甚至在培训单个模型时同时解决所有任务（多任务学习）。最后，我们表明，由于更好地利用标签语义，我们的框架也可以显着提高低资源制度的性能。

命令和控制（C＆C）在攻击中很重要。它将命令从攻击者传输到受损的主机中的恶意软件。目前，一些攻击者在C＆C任务中使用在线社交网络（OSN）。 OSN的C＆C中有两个主要问题。首先，恶意软件找到攻击者的过程是可逆的。如果防御者分析了恶意软件样本，则在发布命令之前将暴露攻击者。其次，以普通或加密形式的命令被OSN视为异常内容，这会引起异常并触发攻击者的限制。防御者暴露后可以限制攻击者。在这项工作中，我们建议在OSN上使用AI驱动的C＆C DEEPC2来解决这些问题。对于可逆的硬编码，恶意软件使用神经网络模型找到了攻击者。攻击者的头像被转换为​​一批特征向量，并且防御者无法使用模型和特征向量提前恢复头像。为了求解OSN上的异常内容，哈希碰撞和文本数据扩展用于将命令嵌入正常内容中。 Twitter上的实验表明，可以有效地生成命令包裹的推文。恶意软件可以在OSN上秘密地找到攻击者。安全分析表明，很难提前恢复攻击者的标识符。